#LLM-based Recommendation

5 篇

Hierarchical Latent Reasoning for LLM-based Recommendation

面向LLM推荐的层次化潜在推理框架HiLaR

🧭 生成式推荐 · 层次化隐式推理 ★ 深度解读

Xi'an Jiaotong-Liverpool University · Xiaohongshu · Peking University · Beijing Jiaotong University

HiLaR 用残差量化和时间窗口监督构建粗到细用户偏好，对齐LLM潜在状态并以过程奖励优化层级贡献，在Amazon数据集上超越SOTA。

📌 工作参考价值（4 点）

用户序列建模：借鉴时间窗口监督的残差量化，将用户历史按时间从远到近分层，构建从长期兴趣到短期意图的多粒度表示，可直接作为召回或排序阶段的特征。
LLM推理结构化：在推荐Agent中，可让LLM的中间隐藏状态对齐预训练的层次化偏好向量，使推理轨迹具有粗到细的结构，便于诊断与解释。
过程奖励设计：利用下一物品预测的条件似然增益作为每步推理的奖励分量，结合GRPO优化多步潜在推理，为Agent的多步决策提供细粒度反馈，降低稀疏奖励问题。
协同信号融入：在生成式推荐中引入冻结协同模型（如SASRec）的偏好分数作为RL奖励，弥补纯语义匹配的不足，可直接用于电商搜索召回的生成式模型。

GenRec | 2026-07-30 | cs.IR | score 10/10

MEMOIR: Temporal Behavioral Memory for Recommendation Across the Preference-Drift Spectrum

MEMOIR：面向偏好漂移的时序行为记忆推荐框架

🧭 时序偏好进化建模 · 对比学习 ★ 深度解读

Independent Researcher

用LLM编码时间窗口语义记忆并显式建模偏好进化轨迹，在高低偏好漂移用户上获得排序质量提升

📌 工作参考价值（4 点）

时间窗口语义记忆：将用户交互历史按日历月分窗，用自然语言描述每个窗口并送入 LLM 生成语义记忆嵌入，可作为电商中用户长期兴趣演化的轻量级表示。
进化方向一致性约束：引入 L_dir 惩罚连续进化方向向量的余弦偏差，对偏好单调漂移的用户（如从休闲转向正式）有用；在业务中可针对品类转换明显的用户群体单独启用该损失。
进化感知聚合：融合当前状态、进化方向与预测未来状态，让同一当前偏好但不同轨迹的用户得到不同向量，适合需要区分“新用户刚入圈”与“老用户稳定消费”的场景。
漂移分层洞察：论文发现 LLM 进化建模的优势集中在高/低偏好漂移用户群（NDCG@10、MRR 提升），对业务意味着可以在用户分群后对易漂移人群启用该模型，或作为重排序信号补充。

RecSys | 2026-07-27 | cs.IR | score 9/10

Temporal User Modeling Contrastive Learning LLM-based Recommendation Preference Evolution Sequential Recommendation

LBR: Towards Mitigating Length Bias in Large Language Models for Recommendation

LBR：缓解大语言模型推荐中的长度偏差

🧭 LLM 推荐偏差缓解 ★ 深度解读

Zhejiang University · The Chinese University of Hong Kong · University of Science and Technology of China · Bangsun Technology

首次识别并缓解 LLM 推荐中输入注意力偏差和输出解码偏差，提出轻量级长度感知注意力校准与有效信息长度归一化

📌 工作参考价值（4 点）

在电商/搜索推荐中，若使用 LLM 基于文本描述生成候选商品，可借鉴有效信息长度归一化改善排序分数：利用商品标题 Trie 树约束的节点分支数计算 token 信息量，归一化时使用信息长度而非 token 长度，避免偏好短或长商品，一站式解决长短标题 bias。
在 LLM 输入 prompt 中，不同长度商品描述会导致长商品获得过多注意力，可借鉴长度感知注意力偏移方法：根据商品 token 长度在注意力 logits 中加入偏移（如 δ(l) = -log(a·l+b)），仅需两个额外参数，几乎不增加训练开销。
对于已采用约束解码（前缀树）生成有效商品的 LLM 推荐系统，LBR 可插件式集成，无需改动模型结构，实验显示平均 NDCG@5 提升 16.82%。
在搜索词推荐或 query 改写场景，也可利用 query 模板的 Trie 结构计算信息量，改进候选排序公平性。

RecSys | 2026-07-05 | cs.IR | score 10/10

Length Bias LLM-based Recommendation Attention Calibration Effective Information Length Constrained Decoding

Mixture-of-Experts Knowledge Graph Retrieval-Augmented Generation for Multi-Agent LLM-based Recommendation

基于专家混合知识图谱检索增强的多智能体 LLM 推荐

🧭 多智能体 KG-RAG 推荐 · 查询感知检索与对齐优化 ★ 深度解读

The Hong Kong Polytechnic University · City University of Hong Kong · National University of Singapore

提出多智能体框架 MixRAGRec，通过查询感知的多粒度 KG 检索与联合优化，实现高效知识增强推荐

📌 工作参考价值（4 点）

查询感知的多粒度检索：根据用户查询复杂程度动态选择 KG 检索粒度（无检索/三元组/子图/连通图），避免简单查询过度检索、复杂查询检索不足，平衡成本与效果。电商搜索中可借鉴类似 MoE 路由，针对不同意图（属性筛选 vs. 宽泛需求）切换知识源。
结构化知识对齐 Agent：用专门的小型 LLM 将图结构知识转为自然语言摘要，减少噪声、保留推荐相关结构信息。在商品知识图谱场景下，可先用模板初转再让 Agent 精炼，作为 LLM 上下文注入。
多智能体联合优化（MMAPO）：使用共享奖励函数（推荐准确性 + 边际信息增益）并通过 GAE 估计优势，实现检索决策与内容生成的端到端训练。此框架可推广到需要协调离散选择（检索策略/API 调用）与连续生成（文案/推荐列表）的 Agent 系统。
对比偏好学习与硬负挖掘：在推荐模型中引入对比损失，自动挖掘困难负样本，能有效区分高度相似的候选物品。该方法可直接用于商品推荐排名模型的 fine-tune，提升 Top-K 精度。

MultiAgent | 2026-05-27 | cs.IR | score 10/10

Multi-Agent KG-RAG Mixture-of-Experts LLM-based Recommendation Contrastive Learning Policy Optimization

L2Rec: Towards Dual-View Understanding of LLMs for Personalized Recommendation

L2Rec：面向个性化推荐的 LLM 双视图理解

🧭 LLM 推荐 · 参数级双视图融合 ★ 深度解读

Netease Cloud Music

通过在参数层面为 LLM 注入行为与语义双视图 LoRA 专家，以个性化路由统一融合信号，显著提升推荐效果。

📌 工作参考价值（4 点）

参数级融合思路：将行为序列与文本语义在参数空间而非表示空间对齐，冻结 LLM 主干，仅更新视图特定的 LoRA 专家，避免了表示空间的分布不匹配。电商推荐中可借鉴，例如用户点击序列（行为）与商品标题/描述（语义）使用同样方法融合，降低多模态对齐难度。
DPMoE 个性化路由：共享专家捕获跨视图共性，视图特定专家由三信号路由（上下文、用户向量、上下文-用户交互）选择。这种“用户感知的专家激活”可迁移到多任务推荐或 Agent 多模态输入——如协同商品浏览、对话意图等多视图，只需调整路由输入。
轻量高效部署：仅训练 5% 参数（~32M），主干冻结。线上 A/B 点击率提升 9.24%，证明参数级适配的工业可行性。可显式用于电商召回侧，作为上游表征模块，与下游匹配/排序无缝衔接。
训练稳定技巧：引入双向偏好对比损失（BPC）保持双视图表征一致性，以及负载均衡损失防止 MoE 路由坍塌。这些技巧在训练多视图 MoE 时可直接复用，尤其当多个视图共享专家时，避免特定专家被忽略。

RecSys | 2026-05-26 | cs.IR | score 10/10

LLM-based Recommendation Parameter-Level Adaptation Dual-View Personalized MoE LoRA Contrastive Learning